TGR：从生成式排序迈向统一生成与推理的工业推荐系统
🧭 生成式推荐 · 统一生成与推理 ★ 深度解读
Tencent PCG
提出并部署覆盖生成式排序、端到端生成和推理增强的工业级生成推荐框架TGR，在腾讯多场景取得显著线上收益
📌 工作参考价值（4 点）
- CCFormer 的特征场分离交叉注意力 + 层次序列压缩：精排模型可借鉴，避免全量 self-attention，用定向注意力流（user→seq、target→seq、target→user）处理异构特征交互，用子空间 token mixing 处理长行为序列，再通过跨层卷积压缩保持长程依赖，训练快 2.21 倍且 GFLOPs 减半，可直接替换现有 DLRM。
- BARGE 的层次路径重排序：在生成式召回（语义 ID 逐 token 解码）中，对 beam search 的候选路径做全局语义一致性重排，而不是只看累计 log-prob，能显著减轻前缀错误传播，两个工业场景 Hit@5 提升 10–17%。
- HiGR 的整页生成：把推荐列表作为一个结构化对象生成，用 coarse-to-fine decoder 分离全局 slate 规划与局部 item 生成，再用 ORPO 直接优化列表级多目标（ranking fidelity、用户兴趣、多样性），推理快 5 倍、P99 <50ms，适合信息流/广告位布局优化。
- TGR-Reason 的离线推理摊销：用 LatentRec 训练 Think 模型离线生成语义 ID 级别的 reason token，在线只作为条件注入生成器，零请求路径推理开销，冷启动新用户 Hit@1 提升 477.8%，可直接用于电商冷启动、长尾商品推荐。
生成式推荐中的解耦时间编码
🧭 生成式推荐 · 时序解耦编码 ★ 深度解读
Rajax Network Technology (Taobao Shangou of Alibaba) · Yale School of Public Health
将宏观时间动态与微观顺序先验解耦，轻量注入 Transformer，在淘系闪购广告在线提升 CTR +1.8%、RPM +3.0%
📌 工作参考价值（4 点）
- 把时序建模拆成两条通路：输入层用紧凑 temporal primitives（recency decay、intra-day/weekly sinusoid、traffic burst）注入 item embedding；attention 层用 time-gated 的 relative-order bias，仅在时间间隔密集时激活。外卖、即时零售、广告等强时间规律场景可直接替换 RoPE/ALiBi。
- 避免大 interval embedding table，DTE 只增加 238 个参数、0.47 KB FP16，在线延迟 +0.3%。工程上很适合已有 Transformer ranking 管线插拔，不需要重构 backbone。
- 个性化时间融合：用用户历史平均池化过 MLP + softmax 为每个 temporal primitive 生成权重，而不是统一静态时间嵌入。对上班族周末/工作日、午晚餐差异明显的用户更有收益。
- 分析行为序列平均时间间隔可以指导是否启用顺序 bias：密集序列上收益最大；稀疏序列主要靠时间戳即可。可作为 A/B 分桶或模型开关参考。
PushDualGen：让LLM生成语义ID与可解释文案的工业推送推荐框架
🧭 生成式推荐 · Semantic ID ★ 深度解读
Kuaishou Technology, Beijing, China
先生成SID再生成可跳过解释的轻量框架，在快手十亿用户推送中有效播放率+8.5%，不满意度-37.7%
📌 工作参考价值（4 点）
- 并行 SID 构建：采用多个独立码本并行量化，避免残差 SID 的误差累积与层级依赖，可直接用于商品/内容的多粒度高压缩表示
- SID 与 LLM 对齐：通过 Text2SID 和 SID2Text 双向任务微调，并冻结原词表只训练新增 SID token embedding，轻量且稳定，适合将推荐系统离散索引注入 LLM
- 多 token 绑定策略：合并高频 n-gram 与语义原子实体为单 token，降低推理序列长度，在生成推荐文案或搜索词时可显著压缩成本
- 生成信号与召回融合：将 LLM 生成的 Top‑N SID 编码成向量与用户特征融合后做 ANN 检索，可提升冷启动物料曝光与长尾覆盖率，对电商冷启动物品召回有直接参考
PSG：用于高效生成式重排的配对空间生成
🧭 生成式重排·Pair-Space 解码加速 ★ 深度解读
Kuaishou Tech
将生成式重排的原子从单品提升为有序物品对，解码步数减半，实现1.83倍加速且性能显著提升
📌 工作参考价值（4 点）
- 生成式重排中，将物品级自回归解码改为物品对级，直接减少解码步数，可无缝集成到现有 Generator-Evaluator 框架中，降低推理延迟。
- 预训练的对级表示（Pair-Token Representation）模块可在每次请求中动态构建词汇表，避免静态词汇表的数据稀疏问题，适用于电商/广告中候选集动态变化的场景。
- 强化学习阶段使用 GRPO 进行探索，不依赖外部过程奖励模型，实现简单且有效，可直接迁移到其他序列生成的推荐任务。
- 工程上，Pair-Token 表示编码与用户上下文编码可并行执行，隐藏额外开销；k=2 是工业场景下延迟与效果的甜点，候选集规模 n≤400 时可实现约 1.5× 以上加速。
奖励引导解码：面向生成式推荐的可控价值对齐
🧭 生成式推荐 · 奖励引导解码 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Kuaishou Technology · Peking University
提出RGD框架，将业务价值注入解码过程，解决生成推荐中似然与价值不匹配问题，无需重训模型
📌 工作参考价值（4 点）
- 解码时注入业务价值，无需重训生成器：RGD 将奖励模型作为测试时控制器，通过闭式解 log P + R/β 替换原始 beam search 的排序方式。业务目标切换或权重调整只需更换奖励头或调整温度系数 β，生成器保持不变，显著降低维护成本。
- 轻量级奖励模型设计可复用：奖励头以 Bottleneck MLP 共享生成器解码器的隐藏状态，梯度隔离训练，仅增加少量参数和推理开销。这种插件式设计可直接纳入现有生成推荐服务。
- 混合推理策略平衡效果与延迟：在首层 SID 使用 pre-merge 扩大搜索空间，后续层改用 post-merge 减少计算量，在工业场景中实现与全量 pre-merge 相近的效果，延迟增加可控，适合在线部署。
- 缓解 beam search 的早期剪枝问题：通过奖励引导，原本因低生成概率被剪枝的高价值候选项有机会存活，扩大有效搜索范围。在快手直播推荐中，CTR 引导的 RGD 在线带来 +0.392% 页面点击率、+0.689% 观看时长。
不确定性缓解多目标排序中的满意度标签偏差
🧭 不确定性感知多目标排序框架 ★ 深度解读
Kuaishou Technology
用高斯分布建模预测，以方差捕获多目标冲突不确定性，设计不确定性感知的自适应加权，缓解短视频排序中行为信号带来的满意度标签偏差
📌 工作参考价值（4 点）
- 多目标冲突即不确定性：在电商/广告排序中，多个业务目标（点击、转化、时长）常有冲突，可借鉴文中用预测方差表征冲突的思路，无需人工定义冲突强度，自动识别高冲突样本并加权，让模型聚焦于更影响最终满意度排序的物品对。
- 线上零额外成本部署：框架输出均值 μ（排序分）和方差 σ²（不确定性），线上推理时仅使用 μ 生成排序，方差仅训练时使用，不增加线上延迟。适合追求低延迟的工业系统直接替换现有排序网络。
- 概率化 Pairwise 损失：将传统确定性 pairwise loss 改为基于高斯 CDF 的概率形，可联合优化均值和方差，并配合不确定性正则避免方差无限增大。此类损失可平滑处理冲突标签的梯度矛盾，提升收敛稳定性。
- 辅助监督让不确定性更可靠：文中引入了基于物品在多目标下排序位置标准差的辅助损失，强制方差与真实冲突水平对齐。实际业务中，可基于多目标分数方差构造类似信号，提升方差的可解释性和鲁棒性。
WHALE：基于Wukong-HSTU的可扩展统一推荐架构
🧭 可扩展推荐架构 · 特征交互与序列建模统一 ★ 深度解读
Meta Platforms, Inc.
通过逐层注意力融合将Wukong特征交互与HSTU序列建模统一，实现可扩展的工业推荐模型
📌 工作参考价值（4 点）
- 逐层注意力融合设计：在排序模型中，不推荐简单的“先压缩序列再拼入浅层交互”方式，而是像WHALE那样，在每一层用特征交互的输出作为query去关注行为序列，让高阶交叉能反复检索细粒度历史证据，可移植到电商/短视频的候选感知历史建模。
- 注意力实现与效率优化：共享KV减少显存带宽；根据query长度与序列长度的不对称性动态选择query-parallel或KV-parallel的反向计算路径，提升吞吐；用shared-gate SwiGLU替换标准SwiGLU，FFN计算量降低33%。这些trick可直接用于自研注意力模块的加速。
- 消除CPU-GPU同步：在线推理中通过shape hint tensor避免动态形状导致的同步开销，单点可节省1~5ms延迟，适合对延迟敏感的大型排序模型。
- 统一架构的缩放收益：增加序列长度、模型深度和宽度均带来一致的离线收益，且在线主指标+0.113%仅付出5%吞吐下降，说明该架构在工业场景中具有成本有效的扩展性。
Prompt Generation 技术报告
🧭 生成式检索 · 配置驱动框架 ★ 深度解读
Taobao Search Team
通过配置驱动框架解耦生成式检索中的特征处理与模型架构，实现快速实验、统一部署和低延迟推理
📌 工作参考价值（4 点）
- 配置即实验：你的业务中每次加特征都要改模型代码吗？PG 把特征类型（文本、嵌入、组合、序列）和处理组件（映射、分桶、投影、合并等）都声明在 JSON 里，换特征只需改配置，几天变几分钟，适合快速迭代。
- 统一线上/线下特征一致性：训练—服务偏移（Training-Serving Skew）是推荐/搜索的顽疾。PG 的事件追踪机制记录线上原始特征，训练时回放，保证一致性 >99%，直接可复用。
- Token 压缩实用：长行为序列（如 45K tokens）被 PG 压缩至约 11K tokens 仍有离线收益，用 mean/combo 合并等算子控制 token 预算，平衡效果与成本，对 LLM4Rec 场景有直接借鉴。
- 插件化扩展：自定义合并算子（如 attention merger）通过注册即可集成，不改框架，便于在电商搜索/推荐中试验特征融合策略。
原子意图推理：将 LLM 语义引入工业跨域推荐
🧭 跨域推荐 · LLM 意图缓存与检索 ★ 深度解读
The Hong Kong Polytechnic University · Kuaishou Technology
离线将用户行为拆解为原子意图并缓存，在线动态组合实现 LLM 级语义推理，延迟仅 20ms
📌 工作参考价值（4 点）
- 离线 LLM 意图预计算 + 在线轻量聚合：把昂贵的大模型推理完全移到离线阶段，将用户事件转化为可检索的原子意图对（action-intent pair），在线仅做 KV 检索和树合并。在电商/内容平台的跨域推荐中，可以直接复用这种“离线语义提炼、在线实时组合”的范式，突破 LLM 在线推理的延迟瓶颈，同时保持语义信号。
- 层次用户意图树的构建与多行为权重：用意图树组织 coarse-to-fine 的偏好，节点权重融合 click/order/view 等多种行为计数并引入时间衰减。在自己的业务中，可以借鉴这种多行为强度加权与时效性折损的统一方案，有效压缩超长、异构行为序列，避免喂入原始全量序列的噪声与计算开销。
- 目标感知的意图检索与证据压缩：根据候选商品 embedding 从意图树中检索相关链，再按语义相似度和时间有效性裁剪支持证据序列，输出一个紧凑的“意图链+行为证据”作为 CTR 模型输入。在重排或精排环节，这可以提供高度目标相关的精简特征，代替手工构造的跨域行为序列特征，提升预测效果。
- 多注意力融合意图表示：将检索到的意图链 token 以 MHA 方式与目标商品 embedding 交互，不同 head 捕捉不同粒度的偏好。可以作为排序模型中一个可插拔的目标感知用户表示模块，插入到现有的 DNN 排序塔中，只需增加较小的计算量。